数据驱动的方法来协助手术室（OR）工作流程分析取决于耗时且收集昂贵的大型策划数据集。另一方面，我们看到最近从监督学习转变为可以从未标记数据集中学习表示的自我监督和/或无监督学习方法。在本文中，我们利用机器人手术中捕获的未标记数据，并提出了一种新颖的方法，以融合单个视频框架或图像的多模式数据。我们将多模式数据视为不同的观点，而不是同一图像或视频框架的不同图像或视频框架的不同增强（或“视图”）作为不同的观点，可以通过聚类以无监督的方式训练模型。我们将我们的方法与其他最新方法进行了比较，结果表明，我们的方法在手术视频活动识别和语义细分方面的表现出色。

自动手术活动识别可以实现更智能的手术设备和更有效的工作流程。这种技术在新手术室中的整合有可能改善对患者的护理服务并降低成本。最近的作品在手术活动识别方面取得了有希望的表现。但是，这些模型缺乏普遍性是该技术广泛采用的关键障碍之一。在这项工作中，我们研究了手术室跨手术活动识别模型的普遍性。我们提出了一种新的域适应方法，以在新手术室中提高手术活动识别模型的性能，而我们只有未标记的视频。我们的方法生成了伪标签，用于对其有信心的未标记视频剪辑，并在剪辑的增强版本上训练该模型。我们将方法扩展到半监督域的适应设置，其中还标记了目标域的一小部分。在我们的实验中，我们提出的方法始终优于从两个手术室收集的480多个长手术视频的数据集上的基准。

手术视频中的活动识别是开发下一代设备和工作流程监测系统的关键研究领域。由于手术是具有高度变化长度的较长过程，因此用于手术视频的深度学习模型通常包括使用主链和时间序列模型的两阶段设置。在本文中，我们研究了许多最新的骨干和时间模型，以找到为手术活动识别提供最强性能的体系结构。我们首先在大规模活动识别数据集上进行模型性能，该数据集包含在多个临床手术室中捕获的800多个手术视频。我们进一步评估了两个较小的公共数据集（Cholec80和Cataract-101数据集）上的模型，分别包含80个视频和101个视频。我们从经验上发现，Swin-Transformer+BigRU时间模型在两个数据集上都产生了强劲的性能。最后，我们通过对新医院进行微调模型来研究模型对新领域的适应性，并试验最近无监督的域适应方法。

算法手术工作流识别是一个正在进行的研究领域，可以分为腹腔镜（内部）和手术室（外部）分析。到目前为止，已经提出了许多不同的内部分析作品，并结合了框架级别和附加的时间模型，以解决不同工作流阶段之间的时间歧义。对于外部识别任务，剪辑级方法是针对或场景中存在的本地歧义的研究人员的重点。在这项工作中，我们评估了不同模型体系结构的组合，以进行手术工作流识别的任务，以对内部和外部分析的方法进行公平的比较。我们表明，设计用于内部分析的方法可以通过与不同体系结构的可比性能提高到外部任务。

We introduce Patch Aligned Contrastive Learning (PACL), a modified compatibility function for CLIP's contrastive loss, intending to train an alignment between the patch tokens of the vision encoder and the CLS token of the text encoder. With such an alignment, a model can identify regions of an image corresponding to a given text input, and therefore transfer seamlessly to the task of open vocabulary semantic segmentation without requiring any segmentation annotations during training. Using pre-trained CLIP encoders with PACL, we are able to set the state-of-the-art on the task of open vocabulary zero-shot segmentation on 4 different segmentation benchmarks: Pascal VOC, Pascal Context, COCO Stuff and ADE20K. Furthermore, we show that PACL is also applicable to image-level predictions and when used with a CLIP backbone, provides a general improvement in zero-shot classification accuracy compared to CLIP, across a suite of 12 image classification datasets.

Recently, machine learning (ML) has become a popular approach to support self-adaptation. ML has been used to deal with several problems in self-adaptation, such as maintaining an up-to-date runtime model under uncertainty and scalable decision-making. Yet, exploiting ML comes with inherent challenges. In this paper, we focus on a particularly important challenge for learning-based self-adaptive systems: drift in adaptation spaces. With adaptation space we refer to the set of adaptation options a self-adaptive system can select from at a given time to adapt based on the estimated quality properties of the adaptation options. Drift of adaptation spaces originates from uncertainties, affecting the quality properties of the adaptation options. Such drift may imply that eventually no adaptation option can satisfy the initial set of the adaptation goals, deteriorating the quality of the system, or adaptation options may emerge that allow enhancing the adaptation goals. In ML, such shift corresponds to novel class appearance, a type of concept drift in target data that common ML techniques have problems dealing with. To tackle this problem, we present a novel approach to self-adaptation that enhances learning-based self-adaptive systems with a lifelong ML layer. We refer to this approach as lifelong self-adaptation. The lifelong ML layer tracks the system and its environment, associates this knowledge with the current tasks, identifies new tasks based on differences, and updates the learning models of the self-adaptive system accordingly. A human stakeholder may be involved to support the learning process and adjust the learning and goal models. We present a reusable architecture for lifelong self-adaptation and apply it to the case of drift of adaptation spaces that affects the decision-making in self-adaptation. We validate the approach for a series of scenarios using the DeltaIoT exemplar.

人类不断与日常对象互动以完成任务。为了了解这种相互作用，计算机需要从观察全身与场景的全身相互作用的相机中重建这些相互作用。由于身体和物体之间的阻塞，运动模糊，深度/比例模棱两可以及手和可抓握的物体零件的低图像分辨率，这是具有挑战性的。为了使问题可以解决，社区要么专注于互动的手，忽略身体或互动的身体，无视双手。 Grab数据集解决了灵活的全身互动，但使用基于标记的MOCAP并缺少图像，而行为则捕获了身体对象互动的视频，但缺乏手动细节。我们使用参数全身模型SMPL-X和已知的对象网格来解决一种新的方法，该方法与Intercap的先前工作局限性，该方法是一种新的方法，可重建从多视图RGB-D数据进行交互的整体和对象。为了应对上述挑战，Intercap使用了两个关键观察：（i）可以使用手和物体之间的接触来改善两者的姿势估计。 （ii）Azure Kinect传感器使我们能够建立一个简单的多视图RGB-D捕获系统，该系统在提供合理的相机间同步时最小化遮挡的效果。使用此方法，我们捕获了Intercap数据集，其中包含10个受试者（5名男性和5个女性）与10个各种尺寸和负担的物体相互作用，包括与手或脚接触。 Intercap总共有223个RGB-D视频，产生了67,357个多视图帧，每个帧包含6个RGB-D图像。我们的方法为每个视频框架提供了伪真正的身体网格和对象。我们的Intercap方法和数据集填补了文献中的重要空白，并支持许多研究方向。我们的数据和代码可用于研究目的。

本文提出了一个传感器数据匿名模型，该模型接受了分散数据的培训，并在数据实用程序和隐私之间进行了理想的权衡，即使在收集到的传感器数据具有不同的基础分布的异质环境中也是如此。我们称为Blinder的匿名模型基于以对抗性方式训练的变异自动编码器和歧视网络。我们使用模型 - 不合稳定元学习框架来调整通过联合学习训练的匿名模型，以适应每个用户的数据分布。我们在不同的设置下评估了盲人，并表明它提供了端到端的隐私保护，以增加隐私损失高达4.00％，并将数据实用程序降低高达4.24％，而最新的数据实用程序则将其降低了4.24％。对集中数据培训的匿名模型。我们的实验证实，Blinder可以一次掩盖多个私人属性，并且具有足够低的功耗和计算开销，以便将其部署在边缘设备和智能手机上，以执行传感器数据的实时匿名化。

在生物医学语料库中预先培训的语言模型，例如Biobert，最近在下游生物医学任务上显示出令人鼓舞的结果。另一方面，由于嵌入尺寸，隐藏尺寸和层数等因素，许多现有的预训练模型在资源密集型和计算上都是沉重的。自然语言处理（NLP）社区已经制定了许多策略来压缩这些模型，利用修剪，定量和知识蒸馏等技术，从而导致模型更快，更小，随后更易于使用。同样，在本文中，我们介绍了六种轻型模型，即Biodistilbert，Biotinybert，BioMobilebert，Distilbiobert，Tinybiobert和Cmpactactbiobert，并通过掩护的语言在PubMed DataSet上通过掩护数据进行了知识蒸馏而获得的知识蒸馏来获得。建模（MLM）目标。我们在三个生物医学任务上评估了所有模型，并将它们与Biobert-V1.1进行比较，以创建有效的轻量级模型，以与较大的对应物相同。所有模型将在我们的HuggingFace配置文件上公开可用，网址为https://huggingface.co/nlpie，用于运行实验的代码将在https://github.com/nlpie-research/compact-compact-biomedical-transformers上获得。

这里介绍了人工智能研究所（IARAI）组织的2022年Landslide4sense（L4S）竞赛的科学结果。竞争的目的是根据全球收集的卫星图像的大规模多个来源自动检测滑坡。 2022 L4S旨在促进有关使用卫星图像的语义分割任务的深度学习模型（DL）模型最新发展的跨学科研究。在过去的几年中，由于卷积神经网络（CNN）的发展，基于DL的模型已经达到了对图像解释的期望。本文的主要目的是介绍本次比赛中介绍的细节和表现最佳的算法。获胜的解决方案详细介绍了Swin Transformer，Segformer和U-NET等最先进的模型。还考虑了先进的机器学习技术和诸如硬采矿，自我培训和混合数据增强之类的策略。此外，我们描述了L4S基准数据集，以促进进一步的比较，并在线报告准确性评估的结果。可以在\ textIt {未来开发排行榜上访问数据，以供将来评估，\ url {https://www.iarai.ac.ac.at/landslide4sense/challenge/}，并邀请研究人员提交更多预测结果，评估准确性在他们的方法中，将它们与其他用户的方法进行比较，理想情况下，改善了本文报告的滑坡检测结果。